Agus Salim dilahirkan di Koto Gadang, Bukittinggi, Minangkabau dengan nama Mashudul Haq yang membawa pengertian "pembela kebenaran" kepada pasangan Angku Sutan Mohammad Salim dan Siti Zainab. Ayahnya seorang ketua pendakwah di Mahkamah Tinggi Riau.

Selepas tamat pendidikan dasarnya di Sekolah Rendah Europeesche Lagere (ELS), sekolah khusus anak-anak Eropah, Agus Salim melanjutkan pendidikannya di Sekolah Menengah Hoogere Burgerschool (HBS), Batavia dan merupakan pelajar yang terbaik di HBS se-Hindia Belanda.

Setelah lulus, Salim bekerja sebagai penterjemah dan pembantu notari di sebuah syarikat pelombongan di Indragiri. Pada tahun 1906, Salim bertolak ke Jeddah, Arab Saudi untuk bekerja di Konsulat Belanda di sana. Pada masa inilah Salim dididik oleh Syeh Ahmad Khatib yang merupakan bapa saudaranya.

Salim kemudian terjun ke dalam dunia kewartawanan pada tahun 1915 ketika menyertai akhbar Harian Neratja sebagai Editor II dan akhirnya dinaikkan pangkat sebagai Ketua Editor. Beliau menikah dengan Zaenatun Nahar dan dikurniakan lapan orang anak. Kegiatannya dalam bidang kewartawanan terus berlangsung sehingga akhirnya menjadi ketua akhbar Hindia Baroe di Jakarta. Salim kemudian mengasaskan akhbar Fadjar Asia dan selanjutnya menjadi editor akhbar Moestika di Yogyakarta . Beliau mengasaskan Pertubuhan Antara Parlimen ASEAN (AIPO) dan bersamaan dengan ini, terjun ke dalam dunia politik sebagai ketua Sarekat Islam.